Императорская Япония вторглась на Западное побережье США, в то время как нацистская Германия вторглась на Восточное побережье; капитуляция союзников положила конец Второй мировой войне в 1947 г. Немцы сбросили атомную бомбу на Вашингтон, округ Колумбия (ныне переименованный в «Район заражения»). Германский рейх распространяется на Европу и Африку, а Японская империя включает в себя Азию.

Действие сериала происходит в 1962 г. на территории бывших США и собственно Германии. Адольф Гитлер – диктатор большей части мира. Император Японии – правитель остального мира. Сериал показывает жизнь нескольких персонажей, живущих при оккупации США Японии и Германией; показаны и высокопоставленные нацисты.

Западная Северная Америка, ныне входящая в состав «Японских Тихоокеанских штатов», занята технологически менее развитой Японской империей периода Сёва, которая ассимилировала своих бывших американских граждан в японскую культуру. Высококлассные этнические японцы чрезвычайно очарованы довоенной американской культурой. Столица Тихоокеанских штатов – Сан-Франциско.

Восточная и Среднезападная Северная Америка – колония, контролируемая Великим нацистским рейхом (GNR) под руководством стареющего фюрера. Колонию, возглавляемую «рейхсмаршалом Северной Америки», обычно называют «нацистской Америкой» или «американским рейхом», а ее столицей является Нью-Йорк. Нацисты продолжают охотиться на меньшинства и подвергать эвтаназии физически и психически больных. Западная и Восточная Америки разделены Нейтральной Зоной со столицей в Денвере, Колорадо. (Еще одна буферная зона присутствует на Урале.)

Фильмы, собранные неким «Человеком в высоком замке», представляют собой кинохронику, изображающую множество других Земель, в т. ч. те, где союзники одержали победу, на некоторых изображены казненные лидеры союзников (такие как Уинстон Черчилль и Иосиф Сталин), а на некоторых дела американского Сопротивления идут хорошо. Изображенные события включают как реальную историю, так и другие возможные альтернативные временные рамки. Нацисты и японцы охотятся на Сопротивление и на фильмы об альтернативных мирах; им страшна эта правда, что где-то они проиграли. Гитлер умирает (он, кстати, тоже «человек в высоком замке», у себя в горах Баварии), фюрером становится Гиммлер. Рейхсмаршалом Америки становится этнический американец Смит (он служил в армии США в войне с нацистами), Гувер – глава какого-то нацистского ФБР. Рейх хочет проникнуть в параллельный мир и завоевать его (до этого не доходит). Негритянская часть Сопротивления добиваются изгнания японцев с Западного побережья. Смит убивает Гиммлера, но его самого затем ждет гибель. Его соратник после известия о смерти Смита рвет отношения с Рейхом, планируя провозгласить независимость США от Германии (от этого плана Смит отказался).

Отличия книги от сериала. Главный персонаж романа Хоторн Абендсен (в сериале отсутствует, вместо него действует некий собиратель фильмов) – таинственный автор романа в романе под названием «В траве сидел кузнечик» [The Grasshopper Lies Heavy], подрывной альтернативной истории войны, в которой союзные державы одержали победу. Название романа отсылает к фразе «The grasshopper shall be a burden» (Ecclesiastes 12:5).

Нацисты запретили роман в США, но японцы разрешают его публикацию и продажу в Тихоокеанских штатах Америки. Предположительно, Абендсен живет в охраняемом поместье под названием Высокий замок. Тем временем нацистские СМИ информируют общественность о том, что Йозеф Геббельс – новый канцлер нацистской Германии.

Престарелый Адольф Гитлер выведен из строя сифилисом третьей степени, Мартин Борман является исполняющим обязанности канцлера Германии, а нацисты из ближайшего окружения – Йозеф Геббельс, Рейнхард Гейдрих, Герман Геринг, Артур Зейсс-Инкварт – соперничают за то, чтобы сменить Гитлера на посту фюрера Великого Германского рейха. Технологически нацисты осушили Средиземное море для обеспечения жизнедеятельности и сельскохозяйственных угодий, разработали и использовали водородную бомбу, разработали ракеты для путешествий по всему миру и в космическое пространство, такие как колонизационные миссии на Луну, а также на планеты Венера и Марс.

В романе говорится о существовании операции «Одуванчик» [Dandelion], плана Геббельса по скрытому нападению нацистов на японские острова с целью уничтожения Японской империи. Рейнхард Гейдрих (член фракции против операции «Одуванчик») совершил государственный переворот против Геббельса, чтобы назначить себя канцлером нацистской Германии.

Абендсен говорит, что при написании своего романа он использовал И Цзин, китайскую книгу гаданий. Главная героиня книги и сериала Джулиана делает вывод, что Истина написала роман, чтобы раскрыть Внутреннюю Правду о том, что Императорская Япония и нацистская Германия действительно проиграли Вторую мировую войну в 1945 г.

Роман хвалил Роберт Сильверберг. Урсула К. Ле Гуин писала, что «Человек в Высоком замке» «может быть первым крупным долгосрочным вкладом научной фантастики в американскую литературу». Филипп Дик, которого после смерти в США периодически экранизируют, был нуждающимся человеком. Известно, что Роберт Хайнлайн купил и подарил ему электронную пишущую машинку (у Дика средств не было), что благородно.